最近的成功表明，可以通过文本提示来操纵图像，例如，在雨天的晴天，在雨天中被操纵到同一场景中，这是由文本输入“下雨”驱动的雨天。这些方法经常利用基于样式的图像生成器，该生成器利用多模式（文本和图像）嵌入空间。但是，我们观察到，这种文本输入通常在提供和综合丰富的语义提示时被瓶颈瓶颈，例如将大雨与雨雨区分开。为了解决这个问题，我们主张利用另一种方式，声音，在图像操纵中具有显着优势，因为它可以传达出比文本更多样化的语义提示（生动的情感或自然世界的动态表达）。在本文中，我们提出了一种新颖的方法，该方法首先使用声音扩展了图像文本接头嵌入空间，并应用了一种直接的潜在优化方法来根据音频输入（例如雨的声音）操纵给定的图像。我们的广泛实验表明，我们的声音引导的图像操纵方法在语义和视觉上比最先进的文本和声音引导的图像操纵方法产生更合理的操作结果，这通过我们的人类评估进一步证实。我们的下游任务评估还表明，我们学到的图像文本单嵌入空间有效地编码声音输入。

Stylegan最近的成功表明，预训练的Stylegan潜在空间对现实的视频生成很有用。但是，由于难以确定stylegan潜在空间的方向和幅度，因此视频中产生的运动通常在语义上没有意义。在本文中，我们提出了一个框架来通过利用多模式（声音图像文本）嵌入空间来生成现实视频。由于声音提供了场景的时间上下文，因此我们的框架学会了生成与声音一致的视频。首先，我们的声音反演模块将音频直接映射到Stylegan潜在空间中。然后，我们结合了基于夹子的多模式嵌入空间，以进一步提供视听关系。最后，提出的帧发电机学会在潜在空间中找到轨迹，该空间与相应的声音相干，并以层次结构方式生成视频。我们为声音引导的视频生成任务提供新的高分辨率景观视频数据集（视听对）。实验表明，我们的模型在视频质量方面优于最新方法。我们进一步显示了几种应用程序，包括图像和视频编辑，以验证我们方法的有效性。

最近的生成模型的成功表明，利用多模态嵌入空间可以使用文本信息操纵图像。然而，由于源的动态特性，使用其他来源而不是声音的文本来操纵图像，而不是声音，并不容易。特别是，声音可以传达真实世界的生动情感和动态表达。在这里，我们提出了一个框架，该框架将声音直接编码为多模态（图像文本）嵌入空间，并从空间操纵图像。我们的音频编码器受过培训以产生来自音频输入的潜在表示，该音频输入被强制与多模式嵌入空间中的图像和文本表示对齐。我们使用基于对齐的嵌入式的直接潜在优化方法进行声音引导图像操纵。我们还表明，我们的方法可以混合文本和音频模态，这丰富了各种图像修改。我们验证了定量和定性的声音引导图像操纵的有效性。我们还表明，我们的方法可以混合不同的模态，即文本和音频，这丰富了图像修改的各种。零射频分类和语义级图像分类的实验表明，我们所提出的模型优于其他文本和声音引导最先进的方法。

单眼同时定位和映射（SLAM）在先进的驾驶员辅助系统和自主驾驶中出现，因为单个相机便宜且易于安装。传统的单眼猛击有两个主要挑战，导致定位和映射不准确。首先，估计本地化和映射中的尺度是挑战性的。其次，传统单眼SLAM在映射中使用诸如动态对象和低视差区域的不适当的映射因子。本文提出了一种改进的实时单眼血液，通过有效地使用基于深度学习的语义分割来解决上述挑战。为了实现所提出的方法的实时执行，我们仅用映射进程并行地应用于下采样的关键帧的语义分段。此外，所提出的方法校正相机姿势和三维（3D）点的尺度，使用从道路标记的3D点和真实相机高度的估计接地平面。该方法还删除了标记为移动对象和低视差区域的不恰当的角色功能。八个视频序列的实验表明，与现有的最先进的单眼和立体声猛击系统相比，所提出的单眼血压系统达到显着提高和可比的轨迹跟踪精度。该建议的系统可以通过标准GPU支持，在标准CPU上实现实时跟踪，而现有的分段辅助单眼血液则不会。

Text-to-image generation methods produce high-resolution and high-quality images, but these methods should not produce immoral images that may contain inappropriate content from the commonsense morality perspective. Conventional approaches often neglect these ethical concerns, and existing solutions are limited in avoiding immoral image generation. In this paper, we aim to automatically judge the immorality of synthesized images and manipulate these images into a moral alternative. To this end, we build a model that has the three main primitives: (1) our model recognizes the visual commonsense immorality of a given image, (2) our model localizes or highlights immoral visual (and textual) attributes that make the image immoral, and (3) our model manipulates a given immoral image into a morally-qualifying alternative. We experiment with the state-of-the-art Stable Diffusion text-to-image generation model and show the effectiveness of our ethical image manipulation. Our human study confirms that ours is indeed able to generate morally-satisfying images from immoral ones. Our implementation will be publicly available upon publication to be widely used as a new safety checker for text-to-image generation models.

Artificial intelligence is currently powering diverse real-world applications. These applications have shown promising performance, but raise complicated ethical issues, i.e. how to embed ethics to make AI applications behave morally. One way toward moral AI systems is by imitating human prosocial behavior and encouraging some form of good behavior in systems. However, learning such normative ethics (especially from images) is challenging mainly due to a lack of data and labeling complexity. Here, we propose a model that predicts visual commonsense immorality in a zero-shot manner. We train our model with an ETHICS dataset (a pair of text and morality annotation) via a CLIP-based image-text joint embedding. In a testing phase, the immorality of an unseen image is predicted. We evaluate our model with existing moral/immoral image datasets and show fair prediction performance consistent with human intuitions. Further, we create a visual commonsense immorality benchmark with more general and extensive immoral visual contents. Codes and dataset are available at https://github.com/ku-vai/Zero-shot-Visual-Commonsense-Immorality-Prediction. Note that this paper might contain images and descriptions that are offensive in nature.

减少源和目标域之间的表示形式差异是最大化模型概括的关键组件。在这项工作中，我们倡导利用自然语言监督域的概括任务。我们将两个模块介绍给地面视觉表示，其中包含人类典型推理的文本：（1）视觉和文本关节嵌入器以及（2）文本解释发生器。前者学习图像文本的关节嵌入空间，我们可以将高级类别歧视性信息接地到模型中。后者利用了一个可解释的模型，并生成了解释，证明其决定背后的理由是合理的。据我们所知，这是为域泛化任务利用视觉和语言跨模式方法的第一项工作。我们使用新创建的CUB-DG基准数据集进行的实验表明，可以成功地将跨模式监督用于接地域不变的视觉表示并改善模型的概括。此外，在大规模域基准测试中，我们提出的方法可实现最先进的结果，并在五个多域数据集的平均性能中排名第一。数据集和代码可在https://github.com/mswzeus/gvrt上找到。

联合学习的一个关键挑战是客户之间的数据异质性和失衡，这导致本地网络与全球模型不稳定的融合之间的不一致。为了减轻局限性，我们提出了一种新颖的建筑正则化技术，该技术通过在几个不同级别上接管本地和全球子网，在每个本地模型中构建多个辅助分支通过在线知识蒸馏。该提出的技术即使在非IID环境中也可以有效地鲁棒化，并且适用于各种联合学习框架，而不会产生额外的沟通成本。与现有方法相比，我们进行了全面的经验研究，并在准确性和效率方面表现出显着的性能提高。源代码可在我们的项目页面上找到。

许多最近的自我监督学习方法在图像分类和其他任务上表现出了令人印象深刻的表现。已经使用了一种令人困惑的多种技术，并不总是清楚地了解其收益的原因，尤其是在组合使用时。在这里，我们将图像的嵌入视为点粒子，并将模型优化视为该粒子系统上的动态过程。我们的动态模型结合了类似图像的吸引力，避免局部崩溃的局部分散力以及实现颗粒的全球均匀分布的全局分散力。动态透视图突出了使用延迟参数图像嵌入（a la byol）以及同一图像的多个视图的优点。它还使用纯动态的局部分散力（布朗运动），该分散力比其他方法显示出改善的性能，并且不需要其他粒子坐标的知识。该方法称为MSBREG，代表（i）多视质心损失，它施加了吸引力的力来将不同的图像视图嵌入到其质心上，（ii）奇异值损失，将粒子系统推向空间均匀的密度（ iii）布朗扩散损失。我们评估MSBREG在ImageNet上的下游分类性能以及转移学习任务，包括细粒度分类，多类对象分类，对象检测和实例分段。此外，我们还表明，将我们的正则化术语应用于其他方法，进一步改善了其性能并通过防止模式崩溃来稳定训练。

在多视图3D对象检测任务中，重叠图像区域的差异监督显着改善了整体检测性能。但是，当前的多视图3D对象检测方法通常无法正确检测重叠区域中的对象，并且网络对场景的理解通常仅限于单眼检测网络。为了减轻此问题，我们主张应用传统的立体声差异估计方法，以获取重叠区域的可靠差异信息。鉴于差异估计为监督，我们建议将网络正规化以充分利用双眼图像的几何潜力，并提高整体检测准确性。此外，我们建议使用对抗重叠区域的歧视器，该区域的训练以最大程度地减少非重叠区域和重叠区域之间的代表性差距，在这些区域中通常会因摄像机失真而在很大程度上被遮挡或因变形而遭受变形，从而导致域移动，从而导致域移动。我们用大规模的多视图3D对象检测基准（称为Nuscenes）证明了所提出的方法的有效性。我们的实验表明，我们提出的方法的表现优于当前最新方法。